【金猿案例展】阳光保险：财险平台线上数字化运营
诸葛io案例
大数据产业创新服务媒体
——聚焦数据 · 改变商业
阳光财险线上平台数字化运营项目通过管理制度建设、基础平台功能完善、运营分析优化，打造产险线上平台数字化运营能力，协助提升其他项目组数字化运营能力。为了更好的协助其他前端工具提升运营监测能力，需根据各移动工具运营需求，进行私有指标的系统提取、加工与分析，满足移动工具项目组个性化的监控需求。私有指标建设对数据平台的需求会进一步提升。新情况下，阳光财险的各业务环节对诸葛io提供的产品服务也就有了新的要求，其中以下3类问题亟待解决：
-用户运营的核心数据需要实现精确采集、整合；
-平台内的指标需要能够灵活扩展；
-需要构建一套完善的用户及用户行为数据指标体系。
应用场景
后台数据采集需求
目前阳光财险主要使用诸葛io提供的SDK，在App、网站的前端完成用户及行为数据的采集，但部分关键指标需由业务系统后台提供。为了支持此类指标的分析与计算，注册用户数、有效用户数等与业务指标密切相关的核心用户指标数据，将采集用服务器后台方式进行采集。因此需要诸葛io提供后端数据采集上传的API接口，并提供相应的采集方案设计、技术支持等服务。
自定义指标和可视化需求
目前诸葛io的服务范围涵盖了阳光财险各项业务，管理层及不同业务团队的数据需求除了通用的用户行为指标外，还有很多业务特有的指标管理、分析需求需要实现满足。这些业务特有指标的需求具备如下几个特点：
-数量多：为了满足管理需要、运营需要，所需要的数据指标整体数量较多；
-变化快：随着业务的不断调整优化以及相关团队对业务和数据的理解变化，所需的指标往往也需要不断的进行调整和增减，以真实反映业务的进展；
-要求高：数据指标的变化调整，需要尽可能的与业务优化保持同步状态，这就要求我们能够在第一时间尽快完成指标的调整优化。
因此，需要诸葛io平台中提供基础指标的灵活定义的功能，并能够支持自定义指标的可视化分析，以及将指标添加到数据看板中进行持续的跟踪监测的功能。
提供复杂可视化页面的二次开发能力与支持
对于无法通过简单的自定义指标满足的数据分析需求，需要诸葛io基于平台提供二次开发的能力，以便阳光财险团队能够基于诸葛io平台中的数据、接口和页面框架进行复杂指标可视化分析的二次开发。诸葛io平台需提供自定义页面嵌入功能，以及数据字典、系统架构详细说明等二次开发所需文档，并提供相应知识转移培训。
提供精细化业务指标体系设计与分析服务
结合阳光财险各移动工具的实际运营特点和行业最佳实践经验，诸葛io团队将安排资深业务顾问参加项目组，与阳光财险项目团队共同设计各移动工具的运营指标分析体系，包括指标定义、分析纬度、统计口径、诊断办法等。此外，目前阳光财险在使用诸葛io系统过程中发现采集的用户数据和用户行为数据信息比较混乱，很难将诸葛io系统的作用最大化。本期项目中，将对先行埋点设计方案梳理和完善优化，以便于阳光财险确实提升数字化平台的运营分析监控能力。
本项目旨在实现阳光财险集团后台数据和诸葛io系统的对接，综合阳光财集团后台数据和诸葛io采集的用户行为数据，更加完整的实现对用户行为活动的记录、追踪、分析等。
应面临挑战
数据支持
阳光财产保险集团于2017年采购诸葛io分析平台，已经使用近2年时间，期间共接入应用45个。阳光财产集团私有部署的诸葛io系统中最具有代表性的应用：车生活，车生活应用每日数据量约40万，仓库总数据量约2亿。
应用技术／实施过程
技术架构
技术架构图
技术架构描述
整个系统包括数据采集、数据收集服务、消息处理、实时计算和加载、数据存储及查询、数据分析平台网站几个部分，诸葛io采用大数据主流分布式技术架构，可灵活针对网关、kafka、cdh集群等配置高可用性，后期随着客户数据量增多更加方便用户进行集群扩容。
通过Android SDK、iOS SDK、JS SDK等客户端或者服务端数据上传等方式将数据通过Nginx加Lua服务器写入消息中心Kafka集群，Spark集群通过Spark streaming实时读取Kafka中原始数据，进行转换（添加附加信息、生成ID等），然后将转换后的数据写入Kafka中另一个Topic，同时将中间实时计算的一些结果写入SSDB和Redis中。Spark Streaming读取Kafka中转换后的数据，加载到数据仓库中。数据分析平台网站通过数据访问层进行查询操作，查询采用impala的视图，把HDFS表和kudu表数据用union合成一个视图，这样就可以查询到实时数据了。
数据采集
数据采集方式
数据采集包括客户端采集、服务端采集、工具导入三种方式：
客户端采集：支持Android 、iOS 、JavaScript（web）、微信小程序等，采集方式包括代码埋点、可视化埋点、全埋点。
服务端采集：对于无法通过客户端采集的情况，也可以通过在应用服务器端或合适的时机上传用户及事件等数据。
工具导入：如果有结构化的数据，也可以通过诸葛io提供的工具，把数据一次性导入诸葛io数据分析平台
SDK采集数据格式
数据格式示例如下：
{
"dt": "evt", //数据类型，evt，自定义事件，必填
"pr":
{ //数据属性，$为默认属性标识
"$an": "QQ", //应用名称 必填
"$cn": "360", //应用渠道 必填
"$cr":"(null)(null)", //运营商代号 必填
"$ct": 1471941345321, //时间戳，毫秒，必填
"$cuid":"1234523", //用户ID(可选)
"$dru":45000, //事件持续时长（可选）
"$eid":"购买", //事件名称，必填
"$mnet": "0", //移动网络类型 0:未知; 1,2:2G; 3-12:3G; 13+:4G
"$net": "4", //当前网络类型，0：移动网络; 4:wifi
"$ov": "5.0", //Android 系统版本 必填
"$os": "Android", //Android 系统 必填
"$sid":1471941345321, //会话ID 必填
"$tz":28800000, //相对UTC偏移量，必填
"$vn": "2.3.1", //应用版本 必填
"_$vn":"天猫", //自定义事件属性
"_数量":2,
"_价格":3999
}
}
SDK采集到的数据为json格式，主要的数据类型包括事件、用户信息、平台信息、会话开始、会话结束等。Android SDK、iOS SDK、JS SDK采集到的数据由于平台差异会有不同。
定制开发类功能需求解决方案
针对项目需求和目标，结合诸葛io系统架构，经过双方共同分析与讨论沟通，定制开发类需求解决方案如下：
诸葛io团队基于现有平台进行定制开发，增加以下功能：
-自定义指标管理与可视化分析
-自定义可视化页面管理
-诸葛io团队为阳光财险团队提供如下技术支持服务：
-后端数据上传接口与技术支持；
-自定义指标过程所需的培训与技术支持服务；
-自定义可视化页面二次开发所需的培训与技术支持服务。
-阳光财险基于诸葛io平台的功能、接口和开放能力，实现：
-核心数据的后端采集与测试；
-基础自定义指标的定义与管理；
-复杂可视化界面的二次开发。
以下对本项目中涉及的功能和技术支持服务进行详细的定义与设计。
平台功能定制开发服务
诸葛io团队将基于现有平台进行定制开发，新增以下功能的实现（下图中橙色部分功能）
自定义指标的管理与可视化分析
指标的创建、管理与删除：
-应用管理员可以按如下定义创建和修改指标：
-指标名称：最长30个汉字；
-指标查询逻辑：基于诸葛io数据仓库模型，采用sql语句定义指标的查询逻辑，查询语句输出应包含时间维度、指标结果维度，也可以包含1个细分维度（细分维度可不定义）；
-指标的筛选条件：直接在sql语句中通过where字句定义（该项可不定义）；
-用户洞察：表格中的指标需点击进行用户洞察的条件，通过sql语句定义（该项可不定义）；
-管理员可删除不需要的指标。
指标的可视化分析：
-完成创建/修改的指标，将自动出现在「诸葛io→分析→自定义」页面中的指标下拉列表中；
-用户可以从下拉列表中选择需要分析的指标，进行查看和分析；
-用户可以将指标添加到看板中进行长期的监测分析。
不含细分维度的指标可视化：
含有细分维度的指标可视化：
自定义可视化页面的管理
在完成了自定义可视化页面的开发后，管理员可以将页面添加到平台中。
添加过程中需要管理员：
-定义页面名称和页面的跳转链接；
-定义好的页面将自动出现在自定义页面的列表中；
-用户可以点击跳转到页面中进行分析。
管理员可以删除不需要的页面。
技术支持服务
诸葛io团队将为阳光团队提供如下支持与服务：
-服务器后端数据采集支持：
-服务器端后台明细数据上传的接口及文档；
-并提供上传过程的技术支持；
-自定义指标支持：
-自定义指标功能的使用培训；
-自定义指标的技术支持；
-自定义页面支持：
-自定义页面功能及开发的培训；
-诸葛io数据仓库数据字典说明；
-诸葛io数据仓库查询接口说明；
-诸葛io系统架构说明；
自定义页面的技术支持。
咨询服务
针对各业务线对精细化业务指标设计、搭建的需求，诸葛io团队为阳光财险集团提供包括但不限于以下咨询服务：
针对阳光“车生活”、“全能保”、官网、官微等应用提供精细化业务指标体系设计、协助阳光搭建业务指标体系，服务内容主要包含：
-针对车生活、全能保的运营指标体系设计，产出《用户行为数据指标体系设计方案》；
-针对车生活、全能保的数据采集方案设计，产出《用户行为数据采集方案》；
-针对车生活、全能保的运营指标看板搭建；
-针对车生活的精细化运营分析，提供客户运营、平台运营、活动运营3个主题的分析报告。产出《行为分析报告》
系统升级和集群扩容服务
诸葛io集群扩容前架构情况如下图所示：
目前诸葛io集群共3台服务器，每台服务器配置如下：
涉及企业隐私部分信息已经脱敏
随着阳光财险业务的发展，需对现有产品各渠道数据进行采集，现需要诸葛io系统接入小程序数据，由于阳光财险现有集群部署的诸葛io系统版本不支持小程序，需要更新诸葛io系统版本，同时更新完系统版本后，由于小程序数据的接入可能会增加目前集群的负载，影响整个系统运行速度，故本次在做系统升级的时候同时进行系统扩容，增加一个服务器节点。
诸葛io集群扩容后架构情况如下图所示：
扩容后集群信息：
扩容后集群节点增加一个，可在原有基础上支持再新创建8个应用，在数据总量保持不变的情况下各应用查询速度、系统架构稳定性会有明显提升。
新增节点上会在新部署查询节点、cdh节点、ETL数据处理程序等。
新增加一个查询节点会提升集群的数据查询能力，减轻其他节点的压力，使系统整体更健壮，能够应对和查询更大规模的数据，提高系统抵御更大数量数据查询风险的能力。
增加cdh节点会减轻其他阶段目前的数据压力，有助于提升系统的查询速度，节点之间互相备份，增强系统的高可用性，即使一个节点出问题，也不影响系统中的数据。
诸葛io系统升级完成后将支持小程序数据采集、可视化埋点等诸葛新功能。届时阳光财险将可以接入更多渠道的数据以及更灵活的埋点数据采集方式。诸葛也会为阳光财险数据接入全力提供技术支持服务。
为保障本次系统升级和集群扩展能够顺利进行，需要阳光财险提前准备好以下信息：
1.新增机器保持和原集群网络互通，互相访问无限制，机器配置和其他集群机器相同；
2.确保每台机器的目录结构一致；
3.升级过程需要root权限，需要阳光财险提前准备好登录服务器的账号信息；
4.能够访问外网的环境。
诸葛进行系统升级、扩容操作流程：
1.安装诸葛服务，本过程主要将诸葛io系统涉及的查询节点、cdh、etl等相关服务部署到新增的服务器节点上；
2.创建相关目录，根据其他节点的目录为新增节点创建目录文件；
3.拷贝、修改配置文件，将其他节点的配置文件拷贝到新增节点上，并将配置文件相关信息修改新增节点的信息；
4.启动新增节点CDH集群服务；
5.增加main-cdh；
6.增加查询服务监控，将新增节点的查询服务添加到监控项中，实时监控新节点中的查询相关服务情况；
7.增加cdh监控，将新增节点的cdh添加到监控项中，实时监控新节点中的cdh相关服务情况；
8.增加其他监控，将新增节点的etl等服务添加到监控项中，实时监控新节点中的etl等服务相关服务情况；
9.修改查询节点连接信息，使提交的查询请求能够分配到新增节点中，并进行后续数据查询处理；
10.系统扩容完成；
11.停止web相关服务、kafka、etl数据处理程序，数据暂时积压在kafka中；
12.将诸葛io行为路径相关服务、sdkv、load等系统服务更新为最新版本；
13.启动web相关服务、kafka、etl数据处理程序；
14.系统升级完成。
诸葛io系统本次升级和扩容过程涉及更新部署web和集群部分服务，因此诸葛io系统升级和扩容期间暂时不能够访问，持续时间大约两天左右。
本次诸葛io系统升级和扩容不会对数据采集产生影响，数据会暂时积压在kafka中，待系统升级、扩容完成之后，积压在kafka中的数据会进行消费，消费完成后就可以看到数据了。
本次系统升级和扩容主要存在的风险有：
1.由于诸葛io系统在阳光财险集团中是纯内网环境部署，系统运行时间较长，期间可能进行过系统服务调整，目前集群服务分布环境比较复杂，可能存在一定风险；
2.由于是纯内网环境，系统升级或扩容过程中相关服务依赖的环境无法直接从外网直接下载，导致系统升级和扩容的时间持续较长，容易出现服务不兼容情况。
针对上述风险，诸葛io在进行升级、部署之前需要做到：
1.先确认下集群目前的服务分布情况，确认后再开始进行升级、扩容操作，同时做好应对服务异常的解决措施；
2.提前准备好升级需要的相关文件，升级之前将文件传到服务器上，然后进行操作。为防止提前准备的文件不能满足升级、扩容需要，请阳光财险提前准备好能够连接外网的网络环境，以备不时之需。
商业变化
•构建了满足精细化运营的指标体系
基于公司战略目标制定北极星指标，并建立用户运营分析、平台运营分析、服务产品运营分析3个维度、共计近100个细分指标的运营指标体系。
•落实了具体的数据管理和应用规范
•制定并落实了一套固定的数据采集流程，规范了从数据需求、埋点实施、维护管理等各阶段的工作要求和规范，让各部门了解各自在数据工作中的职责和工作内容
•支持数十种丰富的数据展示图，并能自行计算复合指标进行展示
支持柱状图、趋势图、饼图、地形图等多种图表展示，并通过自定义页面模块支持前端使用可视化开发包进行更多样的图形展示。同时支持单个复合指标的展示和对比。
•埋点事件从3000多减少到300
按照新的规范对原有流程重新梳理后，合并精简了重复的埋点，以及废弃了长期不用的埋点，大大减少了埋点事件量，也减轻了埋点维护负担，提高了工作效率
诸葛io于2015年3月上线，是一个聚焦用户全生命周期数据采集、分析和决策的平台。基于UTSE用户模型和开放灵活的技术平台，赋能企业的数字化战略发展，提升企业的运营和营销效率。
诸葛io团队核心成员来自好耶、西班牙电信、Oracle、SAP、Microsoft、万方数据等国内外知名企业专家，服务过多家500强企业。产品一上线便获得李开复博士创新工场的关注，陆续获得创新工场、蓝驰创投、阿尔法公社等多家知名机构的投资。
公司立足于北京，布局全国，现已在上海、深圳设立分公司，并在武汉成立研发中心，凭借过硬的产品和优质的服务，为越来越多的现代企业注入数据基因，实现业务增长。
截至目前，安利、光明、戴森、松下电器、苏宁消费金融、阳光财险、中国人寿、中国移动、融信银行、民泰银行、中国移动、万科地产、碧桂园、龙湖地产、悦跑圈、优信二手车、宝马、大众、东易日盛集团、好未来、智联招聘、饿了么、墨迹天气等50,000+优秀企业已启用诸葛io的数据分析平台。
——END——